在剛剛過去的2025年，我通讀了大約兩百篇人工智慧領域的論文。如果用一個詞來形容這一年的技術體感，那就是「暴力美學」時代的終結。單純依靠堆砌參數摘取低垂果實的日子已經過去，2025年的技術進化回歸到了基礎研究。這篇文章，我想透過梳理這一年的技術脈絡，明確三個結論：的瓶頸，業界被迫尋找新的成長點，即從「把模型做大」轉向把「模型做聰明」。第一，2025年，技術進步主要集中在流體推理（Fluid Reasoning）、長期記憶（Long-term Memory）、空間智能（Spatial Intelligence）以及元學習（Meta-learning） 這四個領域。原因在於Scaling Law在單純的參數規模上遇到了邊際效應遞減，為了突破AGI第二，現在的技術瓶頸主要在模型要「不僅要博學，更要懂思考和能記住」。 透過Yoshua Bengio提出的AGI框架（基於CHC認知理論），我們發現先前的AI存在嚴重的「能力偏科」：它在一般知識（K）上得分極高，但在即時推理（R）、長期記憶（MS）和視覺處理（V）上幾乎是空白。這種不平衡構成了通往AGI的最大阻礙。第三，這些瓶頸在25年其實都找了一些新的解決方向，可以說是補短板很成功的一年。其中最重要的是三個面向。● 推理能力： 透過Test-Time Compute（推理時計算）引發的革命，AI學會了慢思考，推理能力實現了從0到8的質變。● 記憶能力：Titans架構和Nested Learning的出現，打破了Transformer的無狀態假設，讓模型具備了內化的“海馬體”，有望徹底根治金魚記憶。● 空間智能： 視訊生成不再只是像素的堆砌，而是開始掌握物理規律，邁向了真正的世界模型。接下來，我將根據這一年間的論文閱讀，帶領大家詳細看看這些關鍵拼圖是如何被一塊塊補齊的。（因為篇幅限制，各個方向上涉及的論文我只是簡單做了講述，如果有興趣深入了解，可以看文後的相關論文參考。已分章節處理。）01流體推理的演化，Test Time Compute的誕生與發展在2024年，AI明顯的短板是即時推理(R)能力。在GPT-4的時代，AI只會依賴機率直覺，推理什麼的一點不會。但在2025年，Test-Time Compute（推理時計算）透過拉長推理時間來換取智能。 Test-Time Compute 的核心概念是：智慧不僅是參數的函數，也是時間的函數。以OpenAI o1和DeepSeek R1為代表，AI學會了「慢思考」。 透過在推理階段投入更多的運算資源，它開始在輸出答案之前，在內部進行長達數秒甚至數分鐘的自我辯論和推演。這就是2025年最重要的典範革新，讓AI從背書的鸚鵡轉向思考的機器。因為模型的思考過程是無法在預訓練期間進行引導的，因此後訓練、尤其是強化學習（RL），就成了提升推理能力的最重要的手段。但事情並非一帆風順，在2025年，《強化學習真的能激勵LLM超越基座模型的推理能力嗎？ 》這篇論文引發了大概半年左右的學術爭論。研究發現，在許多情況下，RLVR訓練後的模型產生的正確推理路徑，其實在基座模型的取樣分佈中原本就存在。 RL的作用只是銳化了分佈，顯著提高了採樣到這些路徑的機率，而並非真正「創造」了基座模型完全未知的推理能力。對此，在後續長達半年的論爭後，現在的通行結論是基座模型可能確實包含了所有必要的原子推理步驟（如加減法、基本邏輯變換），但RL的作用在於透過數萬次的試錯，篩選出能夠穩定維持長距離依賴的策略路徑。另外，CMU研究指出，RL訓練有三個階段。第一階段是“銳利化”，僅提升已知路徑的機率；但隨著訓練深入，模型進入“連結（Chaining）”階段，開始將基座模型中原本機率極低的不對稱技能（如驗證與生成）連結起來，從而解決從未見過的難題。這說明RL不光在銳化，也確實能夠有效組合新的推理方法。但學術界的這種形而上討論，沒能阻止業界的工程優化熱情。因為Benchmark的成長不會騙人。強化學習的本質，就是透過與環境互動獲得回饋，在探索未知與利用已知之間尋找平衡，以最大化長期累積獎勵為目標，從而學習出一套最優的決策策略。因此，它的工程可以拆分成核心的三個策略，探索策略（採樣）、評分（包括評分標準和如何評分）和參數更新演算法三個部分。在2025年，強化學習的方法在其中兩部分都得到了明顯的發展。而採樣的策略則還是集中在蒙特卡洛方法（一步一步尋找新分支）、暴力溫度採樣（調高模型的多樣性，采出多種可能）和在23年大火的STaR 模式（就是模型對自己的結論點評後，根據點評再找別的路）這三種方法上，不過25年，因為DeepSeek R1的成功，因為暴力溫度又能出明顯了主流工程結果。評分系統的革新在2025年首先發生的是基於可驗證獎勵的強化學習（RLVR）和稀疏獎勵指標（ORM）的全面崛起。由於DeepSeek R1的成功，讓大家發現，只要給模型一個對錯結論作為獎勵訊號，模型就可以自發性探索其中的推理過程。這導致了ORM的崛起。而在ORM領域，那些能明確給出結果對錯（可驗證的客觀真理）的領域，例如數學、程式碼、邏輯等方面，強化學習就很好下手，效果也很容易提升。基於這些客觀真理形成的強化學習獎勵機制，就稱為可驗證獎勵。在2025年前半年，RLVR（驗證結果）+GPRO（分組探索解法）的方法突飛猛進，基本上成了主流方法，也帶來了模型在程式碼、數學領域的能力大幅提升。然而，用的久了，大家發現如果像複雜數學、程式碼這種推理過程過長的情況，那ORM很有可能會崩掉。所以有的公司會在其中加一部分過程獎勵評分系統（PRM）的因素，例如Qwen的代碼解釋器驗證，主打辨識推理過程中的錯誤步驟。而防止ORM崩潰跑偏的KL正規理論也在今年有了更多的發展。另一個問題就是RLVR是挺好用的，但不是所有領域都有可驗證的真假，比如在文學、乃至醫療這種更偏統計性的領域，目前就沒有完全的真假科研，那怎麼辦呢？因此我們可能需要一個更宏大的Universal Verifier（通用驗證器），去解決這個問題。目前已經有的兩個思路，一個外求法：既然標準不唯一，那就人工或靠模型製訂複雜的評分細則（Rubic），然後讓模型根據Rubic去進行獎勵。而另一個，是相信模型自己的直覺（內求法），利用模型自己的確信度去影響無明確獎勵的領域訓練。例如Kimi K2的joint RL stage策略，就是把RLVR 和self-critique rubric reward 結合起來做RL。參數更新演算法的革新DeepSeek R1帶來的第二個RL震盪就是GPRO演算法的流行。在過去，RL的主流方法是PPO，在這個框架裡，有兩個角色，一個是Actor Model，負責寫答案。還有一個是Critic Model，來給演員的每一步打分數。這個方法特別適合PRM，給每步都評分，但它非常貴，因為它得一直在線訓練，讓模型嘗試完了再在線打分。但GPRO不一樣，它直接把Critic模型切掉了，讓模型產生一組答案，算平均分數來代替Critic，來看誰做的好，誰做的壞。一下子省下來50%的顯存，搭配ORM，更是極簡中的極簡。非常省成本，效果也不差。因此，基本上國內各家都是在GPRO的框架上延展，在2025年這一年發展出了各種變體。例如Qwen的GSPO的優化引入了分數加權，不只看你是否高於平均分，還看你的絕對得分是多少，讓GPRO能夠從對的里選出更好的，把全錯的都排除出梯度，讓訓練更穩。 Minimax的CISPO，則是發現傳統GPRO / PPO訓練的時候，會暴力截斷過長的COT上下文，導致核心思考沒辦法用起來，所以做了個重要性採樣，保留下更重的部分去更新。除了這些特別具體的更新外，業界同時試圖找到強化學習的Chichila法則。例如Meta的ScaleRL，就在多種消融實驗中發現RL的成長曲線其實有天花板。他們證明了RL性能與計算量之間不符合冪律（就是Scaling Laws那種算力越大，能力越大的模式），而是符合Sigmoid 曲線的（起步難，中間猛，最後死活漲不動）。這不是什麼好消息，表示RL是有天花板的。我們不能指望靠RL 無限提升模型的智力上限。 它只能把模型已有的（預訓練賦予的）潛能「逼」出來，一旦逼到了100%，RL 就失效了。想再突破，還得回去革新底座模型或是演算法架構。但好消息是，我們離天花板還很遠呢，還差著一堆工程創新。另外，基礎模型的能力提升也不是完全停滯的。ScaleRL也提出了一套最佳工程實踐，包括使用長思維鏈（Long CoT）作為關鍵驅動力，以及使用大Batch Size（如2048 prompts）來觸達更高的性能天花板。這項研究將RL從「煉金術」轉變為一門精確的工程科學，使得研究者可以透過小規模實驗精準預測大規模訓練的效果。所有這些對RL工程的探索，使得今年的模型，能夠在不增加參數的情況下，依然在整體能力上穩步上升。一次又一次打破ARC和Humans Last Exam的標尺，同時帶動了數學和程式碼能力的大幅上升。02記憶與學習, 治癒模型的健忘症如果說Test Time Compute是前半年最重要的模式變革，那後半年最重要的模型變革，就是記憶能力的提升。畢竟，這是唯一在GPT-5時代，在AGI得分裡還是0的分支能力，屬於短板中短板，漏水的大戶。模型沒有記憶有啥問題？第一，沒有記憶能力的模型不可能在現實中自我學習，必須得在算力工廠裡再訓練學習。這種再訓練昂貴，訓練源可能與日常使用完全脫節，因此持續學習成了一個無比困難的事項。第二，想有個能記得你是誰，你的偏好的AI，就變得很費力。例如我的Gemini 3，現在只靠系統級的Prompt累積一點點關於我的記憶，但大半還是錯的。在24年大火的RAG（檢索增強生成）雖然作為一種外掛式的「海馬體」緩解了這一問題，但它當時的形態只是資料庫和搜尋機制，還很不好用。在25年，記憶問題的研究其實得到了許多發展，只是大多出現在後半年，尚未真正融合進工程。記憶可以分為三種方式，上下文作為記憶、RAG處理過的上下文作為記憶以及將上下文融合到參數裡，內化的進行記憶。難度層層遞進。今年RAG和參數調整的記憶方式都發生了很大的科研進步，但其中最耀眼的是Google Research發布的Titans 架構以及Nested Learning，是2025年記憶領域的最大突破，屬於架構級提升。從根本上挑戰了Transformer的無狀態假設。我們現在一個個看。模型，獲得活著的記憶Titans 是一個深度的神經長期記憶模組，能夠在測試時（即推理過程中）即時更新自身的參數。這和傳統的Transformer層，訓練完就凍結完全不一樣。 Titans在一開始就是個空容器，就一個初始權重，將歷史資訊學習進神經記憶中。和傳統的壓縮模式（Mamba）比，這種學習是無損的。那怎麼決定什麼東西記憶，什麼不記？靠驚奇度（Surprise Metric），模型會根據輸入資訊的意外程度（梯度大小）來決定是否將其存入長期記憶。這和人差不多，越新鮮有衝擊的東西越記得住。Titans是隨時更新權重的，這意味著還要做反向傳播和梯度更新，豈不是很貴嗎？確實，單看是很費GPU算力，但它一般是和普通Transformer層混用，只佔一小部分，所以雖然但並不很重，而且可以省去巨量的上下文開支。而且，它還可以將記憶作為額外的上下文輸入給注意力機制，如同一個高級助手，提供背景資訊。透過門控機制融合短期注意力與長期記憶，處理更靈活，並行處理短時與長時依賴。這也可以提升模型本身的效率。同時，Titans也引入了遺忘機制（Weight Decay），自動清理不再重要的資訊。如果說這是在不會記新東西的Transformer上加了一些記憶模組補丁，那麼Nested Learning就是一個更宏大的架構改變。在Nested Learning中，Google做了一個分層，把模型的架構分成了低、中、高三個更新頻率的神經網路層。把整個模型的參數凍結都解放了，這個模型都是活的，可以隨時調整參數。低頻參數的調整很慢，大概需要16M token的前向更新才會調整一次。它保證了知識的延續性，避免了災難性遺忘。而快速的回饋則交給高頻的神經網路層處理，這樣可以快速反應，做短期記憶。於是我們就有了一個持續更新的，非凍結的神經網絡，它可以抱持長期記憶，並持續學習。而且因為更新頻率不高，且更新比較局部，其成本比一般的SFT、RL達成同等效果的成本還要低。谷歌甚至提出了一個更大的體系MIRAS，它把序列模型看成一個會邊讀邊寫的聯想記憶模組。每一個token，你把它投影成key 和value；模型用當前記憶去「檢索/回憶」一個value；然後用一個內部目標函數（attentional bias）和一個保留/遺忘約束（retention gate），透過某種線上優化/更新演算法（memory learning algorithm）去更新記憶。 Titans和Nested Learning，都屬於在不同層面上對MIRAS的嘗試。這項調整，使得模型具備了持續學習和更新長期記憶的基礎。不過考慮到它對模型架構的改變，在工業大規模應用上可能還需要一段時間。RAG模型化之前，RAG曾被訌諷為圖書館員，只增不減，照單全收。但2025年，它發生了質的飛躍，演變為具備反思與進化能力的系統，甚至可以在一定程度上產生如同參數般的效果。這波RAG改造浪潮中，比較有代表性的還是DeepMind 提出的ReMem 和Evo-Memory。ReMem讓RAG不再是簡單的資料庫式的“檢索-生成”，而是透過一個Agent 引入了Action-Think-Memory Refine 的全鏈路處理方法。在新上下文存入記憶前，會有個Agent對其進行「內省」（Think），標記出那些是無效步驟，那些是關鍵策略。在記憶過程中，模型也會對進來的上下文進行修剪（Pruning）和重組（Reorganizing），讓它更容易被檢索，保留最重要的資訊。同時，模型會定期清理無用的記憶，甚至將失敗的嘗試作為「負面教材」存入，其效果等同於RLHF（人類回饋強化學習）的負向懲罰。這機制使得記憶不再是靜止的錄影，而是經過壓縮和提純的智慧。它儲存的更多是策略，使得模型在處理類似任務時能夠調用過往的成功經驗，實現了真正的經驗復用。微調與蒸餾讓遺忘性災難不再存在在2025年之前，災難性遺忘是參數記憶更新的最大敵人。模型用微調的方式做更新，很容易學了新的忘了舊的，通用能力受損；用強化學習做更新，不容易遺忘，但成本又太高。但在2025年，學術界提出了多種解決方案，讓模型在學習新知的同時不失去舊能力。例如Meta 提出的Sparse Memory Finetuning (稀疏記憶微調)。它在Tansformer裡加了一個百萬個獨立插槽的空白記憶體層。當新知識進入時，系統篩選出更不重要的、和核心舊知識相關性不高的插槽進行更新。這種稀疏更新策略，確保了在註入新知識的同時，絕大部分舊參數保持不變，從而完美保留了原有能力。實驗表明，在TriviaQA事實注入任務中，該方法僅導致11%的舊知識遺忘，遠優於全量微調的89%。再如Thinking Machines 提出的在策略蒸餾（On-Policy Distillation, OPD），結合了RL 的取樣方式和SFT 的監督訊號。訓練資料不再是老師的錄影，而是學生模型自己即時產生的軌跡。學生要在自己真實的「犯錯分佈」中學習，這是RL的取樣方法。但它評估用的是SFT的密集回饋，老師模型會全程陪跑，在學生生成的每一個Token 上都計算KL 散度（即直接告訴學生你和我的差距在那裡），提供密集的即時反饋，而不是像RL 那樣最後才給一個標量分數。這種方法創造了一種既不會導致災難性遺忘，同時也極大壓縮成本的參數更新方式。兩條路徑，最終都導向了透過微調更新模型參數更穩定的路徑，這樣的話模型就可以更快捷、便宜的進行線下更新。夢想中的白天模型陪你說話， 晚上你睡覺更新你的神經元連接，它微調更新它的參數，也許會變成可能。03走出“柏拉圖洞穴”，迎來空間智能(Gv) 與世界模型另一個在Bengio AGI定義2024年得分還是0的一項，就是視覺處理。今年，這項能力在Sora 2、 Veo 3等生成影片的爆發之下，得到了有效的提升。在Veo 3等模型能夠有效保持物體位置一致性的情況下，模型似乎開始有了對物理規律更深的掌握，進入到了空間智能和世界模型（World Models）的範疇。雖然今年主要是李飛飛在大力宣揚空間智能的概念。但實際上在這條路上，一共有三個主流派系和玩家，在今年也都各有研究進展。自監督生成模型的Scaling Law第一派就是Sora 2、Veo 3這些採用了DiT架構的自監督模型，也就是我們常見的視訊生成模型。不過要論空間智能，2025年8月，Google DeepMind發表的Genie 3更明顯。 Genie 3，是個生成的、可互動的、持續演變的3D環境。與其前代相對破碎的呈現不同，Genie 3具有了即時性和一致性。它能以24fps的幀率和720p的解析度即時渲染環境，且能維持數分鐘的場景一致性。如果你在虛擬世界中打破了一個花瓶，當你轉身離開再回來時，花瓶碎片依然在地上，而不是像早期生成視頻那樣莫名消失或復原。除此之外，Genie 3非常好的展現了自監督模型的物理學習能力。它完全沒有參考物理引擎，只是透過觀看海量影片數據，自發性地學會了流體流動、光影反射甚至風吹樹葉的物理規律。之所以視訊生成模型能夠獲得如此大的進步，主要是因為學術界發現了視覺自回歸（Visual Autoregressive, VAR）和擴散Transformer（DiT）的Scaling Law。2024年，字節的Visual Autoregressive (VAR) 模型的提出，排除了Diffusion部分，透過改變token的建模，從行變成圖，讓自回歸獨挑大樑。因為是純自回歸，它的性能嚴格遵循Scaling Law。但這個路子畢竟還是有點野。在25年的論文《Towards Precise Scaling Laws for Video Diffusion Transformers》，更主流的DiT也被發現符合Scaling Law，不過這個Law與LLM不太一樣。與LLM相對穩定的特性不一樣，視訊擴散模型對批量大小（Batch Size）和學習率（Learning Rate）表現出極高的敏感度。直接套用LLM的縮放定律會導致預測失效。但用上特製的Scaling Law，DiT模型就可以大力出奇蹟了。在Veo 3成員的訪談中，Deepmind的員工就表示，訓練這麼好，主要是打通了影片產生的Scaling Law。除此之外，今年影片產生的另一個新變化就是加上聲音了。這主要歸功於Google一直堅持的原生多模態能力。而2025年4月，Apple Machine Learning Research發表了《Scaling Laws for Native Multimodal Models》發現，晚期融合架構（後台多模態）相對於早期融合架構（原生多模態）可能存在一定上限上的劣勢。過去晚期融合模型通常表現出較高的樣本效率，就是我後面加一個影像編碼器，就可以直接讓語言模型變成視訊模型，變化賊快。這意味著費力去訓原生多模態，得不償失。但晚期融合模型在參數利用率上存在瓶頸，為了達到特定的性能水平，晚期融合架構得需要更大的模型尺寸來補償那個新加視覺編碼器帶來的表徵限制，因此同等規模，上限更低。另一個特別值得注意的動向，是VAE的消失。 VAE你可以理解成視訊的壓縮器。一個影片包含的資訊太多，直接給模型，它就會崩潰，所以需要一個壓縮器去壓縮成模型可接受的資訊密度。但這麼一壓縮，重構必然會導致高頻細節丟失，而且VAE是獨立的模型，其生成的Latent Space 與大語言模型（LLM）或多模態模型（VLM）的語義空間不對齊，訓練上非常麻煩。2025 年10 月快手的《Latent Diffusion Model without Variational Autoencoder》 論文提出了SVG 模型，透過直接用影像理解模型取代VAE，統一語意空間，這個模式大大提升了訓練效率（號稱提升6200%）和生成速度。而且它的效果不但沒有因為「快」而縮水，反而在多項核心指標上擊敗了現在的霸主DiT（Diffusion Transformer）和SDXL。因為這個模式，有大一統的美，又有benchmark的美，應該很快就會成為主流。符號主義的World Labs ：基於3D CV生成的世界第二派是史丹佛教授李飛飛領導的World Labs 派。這一派的特色就是，生成好，但要在固定的物理框架下生成。純粹自監督，太不可靠了。他們在2025年11月推出了首個商業產品Marble平台。這是一個「大型世界模型」（LWM），旨在從多模態輸入中產生可探索的3D 環境。與Sora 輸出像素流（影片）不同，Marble 輸出的是空間表示。根據媒體分析，Marble 大概率是依賴3D 高斯潑濺（3DGS） 作為其渲染基元，並可能結合了神經輻射場（NeRF）的結構估計原則。當使用者輸入單張圖像或文字提示時，Marble 會估計場景的深度、光照和被遮蔽的幾何結構。然後，它將這些2D 資訊「提升」為由數百萬個高斯「潑濺」（具有顏色、不透明度和縮放屬性的橢球體）組成的3D 體積。始終是放不下CV多年來世界建構的努力。這種對傳統CV的應用，也體現在World Labs 提供的創作工具Chisel 上。它引入了神經符號（Neuro-symbolic）工作流程。使用者可以使用粗略的幾何基元（盒子、平面）定義世界的“骨架”，以建立佈局約束（例如，“我需要這裡有一扇門，那裡有一堵牆”）。生成模型隨後根據文字提示對這一結構進行「繪製」和細節填充。比起Sora 生成的黑盒，Marble雖然不是很性感，但確實更穩定，更可控。也許World Labs這條路能是最早走通工業落地的方向。預測即理解：V-JEPA 2與物理直覺另外一派代表是Yann Lecun，他的特色就是極端的深度學習表徵派。對於他，大家可能都或多或少聽過，Lecun的觀點一直是：自回歸的生成式模型根本不可能掌握物理規則，只是鸚鵡而已。那要怎麼掌握規則呢？靠預測。只有預測，能學習物理規則的表徵，而不是那些像素的關係表徵。 Meta推出的V-JEPA 2，訓練機制就是隨機遮住影像的一部分（Masking），然後要求模型根據先前看到的畫面，預測被遮蔽部分的內容，只練預測。然後，一個教師編碼器看到完整的視頻，根據這個幫學生，生成目標特徵向量。這種設計使得V-JEPA 2具備了極高的語意抽象能力。模型被迫學習場景中那些「可預測」的規律（如重力下落、剛體碰撞），而自動忽略那些「不可預測」的隨機雜訊（如光斑的閃爍、背景的紋理雜訊）。在Yann Lecun的考慮中，這提取了因果本質。這套理念其實並不新，和他2024年初發布的V-JEPA 1完全一致。但當時，V-JEPA 1 只用了100M左右的資料集做訓練，其效果只能是理解視頻，並不能展現出反事實預測的能力。但在V-JEPA 2裡，Lecun優化了訓練過程，花了100萬+ 小時的影片訓練集，結果模型確實湧現了「推演」的能力。在V-JEPA 2-AC（動作條件化）變體中，JEPA模型確實做到了可以預測「如果我執行這個動作，世界會變成什麼樣子」。這毫無疑問，是對這條路徑的一劑強心針。說明預測，掌握物理規則這個訓練模式是有效的。不過到了JEPA 2，它能夠處理的時間跨度也不過64幀（根據採樣規律，約10秒），分辨率只有384x384。和人家生成路線高清2k、20s生成比起來，還是差太多。想要真正實用，還得在工程上做不少事。04重要的是學習從深度學習肇始，核心問題就只有一個，也就是什麼是學習。到2024年為止，大模型早已經具有了許多學習能力，能夠從海量資料中尋找到資料的連結方式，進而達成一種與人不同的學習模式。然而，在2025年，強化學習之父Richard Sutton 仍然批評當前的大語言模型（LLM）只是“被凍結的過去知識”，缺乏在與環境交互中實時學習的能力。這是說模型缺乏持續學習的能力，這個問題在上面記憶部分有可能會被解決。Sutton的另一個批評就是模型並不會元學習，也就是學習怎麼去學習，學什麼。他所謂的元方法（Meta-methods），指的就是「在這個時刻不要把知識寫死，而是把『獲取知識的能力』寫進程式碼裡」的方法。這樣，模型才能利用無限的算力和數據，去適應無限變化的世界。只有有元學習的能力的模型，才能在遇到新問題時， 透過很少幾個樣本，調動腦子裡的「通用解題邏輯」（元知識），立刻做出解答，做到真正的低成本、快速適應。並透過「如何觀察特徵、如何歸納特徵」的能力，迅速歸納出規則達成完整的動態泛化。沒有元學習，模型就不可能應付未知。 因為你無法預知未來會遇到什麼任務，所以你不能預先訓練它，只能賦予它現場學習的能力。元學習與中訓練在2024年之前，學術界一直有關於當時模型是否具有隱性元學習能力的討論。很多人認為是有的，因為有上下文學習（In-Context Learning）的現象。因為我們不改動參數，只是給GPT 看幾個例子（Prompt），它就像學過了一樣能夠舉一反三。對此，包括Anthropic在內的研究機構，都提出Transformer中的注意力機制在數學形式上，與模型學習時梯度下降（Gradient Descent）的更新步驟非常類似。 Deepmind的論文，更證明對於線性注意力模型，Transformer 的前向傳播過程可以被嚴格推導為「在大規模預訓練學到的權重上執行梯度下降」的過程。但同樣，也有很多研究，證明上下文學習其實沒在新學習例子中給出的映射關係，只是在自身的概念空間裡，利用格式（Format）激活了預訓練期間早就記住的知識。就是說啟動了相關性而已，不是真在學，而是在套模版。這和我們所提到的元學習的理念大相逕庭。不過，在2025年12月份，蘇黎世理工也發表了一篇Meta RL的論文，設計了更好的脈絡框架，更有效的利用ICL來作為一種元學習的方式。讓模型透過上下文自我反思和歷史回溯，來形成新策略。在下一次嘗試中，Agent 實際上是在執行一個新的Policy ，因為上下文變了。它看起來和上面提到的谷歌的ReMeM很像，但更關注策略更新，而不是上下文管理。也許他們結合起來，才是最好的上下文作為權重的方法。但最大的改變，是TTC的到來，為隱性元學習提供了其他的可能性。在推理革命初期，大家都發現可能模型思考了很長一段時間，輸出了很長的思維鏈，但要不是沒用，就是都是錯的。所以不是思維鏈越長模型就越強。我們得引導它的思考過程，讓它在最短的思考中，達成最優解。這其實本質上就是一種訓練模式如何思考的元學習。卡內基美隆的研究《Optimizing Test-Time Compute via Meta Reinforcement Fine-Tuning》就是在這個方向上的嘗試。它先證明了，模型在推理時產生的長CoT，本質上是一個Agent 在思考空間中探索最優路徑。那如果這種探索可以做到更有效，其實就是一種元學習的能力。這種元學習，就是引導模型在推理過程中，能有效尋找最佳路徑，合理地分配算力。他們使用的策略是累積遺憾最小化（Cumulative Regret）。如果模型多思考了很多步，但答案的置信度沒有提升，這就是個遺憾，需要在後續規避。我們在做強化學習的時候，應該引導模型盡可能減少遺憾發生的可能，讓模型知道遇到這種難度的題，我應該呼叫多少算力、嘗試幾條路徑。這就是學習的方法。但這些方法，雖然比單純的脈絡學習走的遠，但仍侷限在優化現有的探索路徑這個層面，向外探索的能力仍然不足。我們可能仍需要在單純的梯度之外，建構一套明確的系統，引導模型學習學習。例如DeepMind 今年發表DiscoRL，它包含兩個核心閉環：內部循環由Agent在Atari等遊戲環境中試錯，外部循環則由「老師」透過反向傳播觀察學生的表現，不斷修正教學策略（即更新學習演算法的參數）。這個過程讓AI自主發現了想要得到最好的結果，得從“獎勵最大化”轉向“未來預測”，而且這些預測往往集中在重大事件（如Ahamoment和改變方向）發生之前。在這過程中，教師獨立「重新發現」了RL中的自舉法，證明了AI可以透過這種遞歸的抽象從純粹經驗中真的學習到應該如何去探索。實驗結果顯示，由此系統自主發現的演算法（Disco57）不僅在雅達利基準上擊敗了包括MuZero在內的人類設計頂級演算法，更展現了驚人的泛化能力。即使在未見過的ProcGen和NetHack等複雜環境中，它依然表現出色，證明其學到的不是單一遊戲的技巧，而是普適通用的學習法則。Meta在《Agent Learning via Early Experience》的中訓練嘗試，其實也殊途同歸的走向了一樣的路徑。預訓練是讓AI死記硬背專家的正確操作，RL是直接扔到現實世界裡依靠稀缺的獎勵摸爬滾打。而中訓練，就是在這之間讓Agent自己瞎折騰產生後果，並且反思。具體到操作層面，在專家演示的每一步，會強制AI嘗試幾種不同的“備選動作”，然後記錄下這些動作會讓環境變成什麼樣。同時，也要對為什麼專家做得好，我做的不好進行反思。這其實就是訓練AI不僅僅知道“怎麼做是對的”，而是建立起“如果我這樣做，世界會那樣變”的因果模型。在一種探索和嘗試，以及對嘗試經驗的遞歸中，模型也許確實學會瞭如何學習這個世界的規律。它能顯著提升其在WebShop、ALFWorld等複雜環境中的成功率（平均提升9.6%），並大幅增強了泛化能力。這幾種方法有一個共通性，即他們都掌握了「想有效探索，必須建立一個對世界的預測」的想法。這和Google《General Agents Need World Models》一文的結論不謀而合。神經科學的投影2025年的神經科學研究，讓我們可能能更理解人類是如何進行學習的。過去我們認為神經網路是一個混雜的“黑盒”，但在《Building compositional tasks with shared neural subspaces》這篇論文證明了大腦內部存在著結構化、正交化的神經子空間。這些子空間就像是物理層面的“符號”，它們將“顏色”、“形狀”、“動作”等概念從混沌的電信號中剝離出來，形成了獨立的、可複用的模組。研究發現，大腦執行新任務不是靠修改神經元的連結（長出新腦細胞），而是靠一種「動態路由」機制。前額葉皮質根據當前的“任務信念”，像接線員一樣將不同的神經子空間重新連線。其實人類在學習過程中，是將簡單的模組拼裝成新任務來去行動。今年哈佛的論文《WHAT DOES IT MEAN TO UNDERSTAND LANGUAGE?》則認為大腦的「語言區域」其實並不負責真正深刻的理解，它只是做了一些表層的處理，然後必須把訊息「外派」給大腦的其他專門區域（比如負責視覺、社交、物理推理的區域），才能實現真正的「深度理解」。在這種理解之上，2025年湧現了許多對模型進行分區的嘗試，包括上述的記憶分區，或是把模型的參數分成專門處理快、慢反應的兩個組別的嘗試。05讀寫速度、注意力和Scaling Law的基礎以上四個部分，可以說是2025年最引人注目的四個進步。因為它們在AGI的量表中，都是一步步覆蓋到原來完全為0的新領域。從零奠基，範式革新。然而在這之外，2025年也有其他一些重要改變，有效的補齊了過去模型並不擅長的領域（例如上下文和處理速度），並且可能隱含著一些訓練範式上的大規模修正可能。以下我們就透過一章，快速涵蓋這些領域。對抗“Scaling Law的消失”就像文章一開始所寫，在2024年末時，GPT 4.5已經遇到了網路資料枯竭的問題。而且在訓練超大型稠密模型的工程難度也幾何增加，問題不斷。Scaling Law眼看難以為繼之時，OpenAI 在GPT-5.2 中並未繼續盲目擴大參數，而是靠稀疏性（Sparsity），即MoE、合成資料（Synthetic Data）與RL加強三方結合，突破瓶頸。MoE，是DeepSeek 一直以來的方法，在V3成功之前， 業內很少有人使用。但它確實具有訓練資源消耗少的特徵（一次訓練整個模型vs 一次只訓部分專家），因此，大規模稠密模型帶來的工程問題在一定程度上被解決。而強化學習和測試時時間，讓模型可以繞過參數的Scaling Law，用上面說到的RL的Scaling Law繼續提升能力。但數據怎麼辦？在2025年，隨著推理能力的進步，模型現在已經可以自主生成長思維鏈（COT）文本了。 DeepSeek R1的論文表明，利用DeepSeek-R1產生的長思維鏈對小模型進行微調，其效果遠超使用人類專家編寫的CoT數據。因此，到此時合成資料的問題已經解決了一半。另外，2025年也有很多證據證明，數據在精，不在多。而且品質最好的就是長COT數據。芝加哥大學團隊的實驗數據表明，當數據量達到一定規模後，資訊大多是重複冗餘的，訓練效果反而不好。與其盲目追求P資料量，不如透過去重和多樣性篩選來降低資料密度，加強單位資料的「驚奇度」（Surprisal）。而且最有驚奇度的在現階段正是長COT。在他們的實驗Select2Reason中，僅僅篩選出前10% 推理路徑最長、最複雜的樣本進行訓練，其效果就匹配甚至超越了全量數據集。因此，長COT文字合成數據，已經成了翻越數據牆的一種最有希望的方式。但2025年10月的一項熱點研究發現，模型在大規模使用合成數據，包括互聯網上流行的AI生成數據後，會發生“腦損傷”，也就是遞歸（持續用自己推導自己）導致的模型崩潰（Model Collapse）。一方面模型的長尾泛化能力下降，另一方面，模型會持續放大過去產生的錯誤，盲目自信。不過研究並沒有單獨拎出來長COT文字資料做範例。好在這並非必然。南洋科技大在NeurIPS 2025的論文中，就建立了一種利用自我驗證機制過濾資料的方法。在產生合成資料後，模型會計算其內部置信度分數。如果分數低於某個閾值，表示模型對該生成內容存疑，那麼這些資料就要被丟棄。他們的數據證明，只要模型的校準誤差在一定界限內，僅憑自我驗證就可以在完全合成（Fully Synthetic）的資料體制下，讓模型一直訓練下去，而不會崩潰。在2025年，科學研究界也發明出了更複雜的方法來做清洗。例如利用另一個模型作為裁判（LLM-as-a-Judge）去搭建一個資料清洗流，確保其可驗證性和效果。甚至有意識的讓Agent去生產模型知識空間中的空白（Missing Nodes），以解決遞歸帶來的多樣性喪失。感謝蒸餾，我們或許不必再承擔推理慢的代價了Gemini 3 Flash在年底的橫空出世，讓人對小模型的能力提升有了非常直觀的感受。在Gemini 3 Flash之前，雖然Nvidia一直鼓吹小模型時代，微軟的Phi 4、谷歌的Gemma 3等小模型也表現不俗，但沒有任何一家的小模型能夠真正替代自家主流模型成為日常主力模型。所以2025年這一年到底發生了什麼，讓小模型突飛猛進？主要是蒸餾方法的兩大主要的進步：MoE的蒸餾，以及COT的蒸餾上。先說MoE蒸餾。在DeepSeek的帶領下，現在主流的模型都是用MoE的架構了。但先前的傳統的蒸餾方法往往忽略了那些未被路由選中的專家（Non-activated Experts）所蘊含的「暗知識」。2025年2月的論文《Every Expert Matters》就提出了針對MoE 的特化蒸餾方案。此方法在蒸餾過程中，透過多次採樣或強制活化策略，讓學生模型接觸教師模型中不同專家的組合輸出。這樣學生模型（通常是較小的稠密模型）不僅學習到了“最優解”，還學習到了不同專家對同一問題的不同視角。這類研究，給出了MoE蒸餾的工程方向。另一個難題就是將長思維鏈能力高效遷移到小模型。傳統的單一教師蒸餾處理長序列推理中的誤差累積問題非常不力，並不適合長COT的蒸餾。而簡單的將多位教師的資料混合（Data Union）往往會因為推理路徑的衝突而導致模型困惑，反而降低了效能。為了能因應這個情況，思維融合蒸餾（Merge-of-Thought, MoT） 應運而生。這是一個輕量級的、迭代式的蒸餾框架，透過共識去噪（Consensus Denoising）原理，讓多個教師可以有效的引導學生模型，還可以避免長序列推理的誤差累積。例如在解決同一個複雜數學或邏輯問題時，不同教師的表達各異，但其核心的推理邏輯往往是相似的。就那乾脆在高維度參數空間中，讓學生模型能夠提取出所有教師的“公約數”，即最穩健的推理邏輯。透過這兩種方式，加上長COT本身對蒸餾的增強作用，讓小模型的能力越來越強。也許有一天，我們甚至不用犧牲推理帶來的速度減緩，就能享受完整的智慧體驗了。注意力機制的變化，解放脈絡每一年，注意力機制都會有些新突破。畢竟這是自迴歸框架下最重要的機制之一，它深度影響了大模型的脈絡能力和指令遵從能力。 2025年的變化相對比較多元。如果說2024年以前是MHA（多頭注意力）的時代，那麼2025年則是MLA（Multi-Head Latent Attention，多頭潛在註意力）及其變體全面普及的時代。從DeepSeek從V3開始採用MLA架構後，它就開始大受歡迎。畢竟既能壓縮大量降低顯存佔用，又能保持了原有註意力機制的水平，多好。而且在推理COT越來越長的背景下，的KV Cache顯存爆炸問題更嚴重，MLA 也更加流行。不過在發展過程中，MLA現在很少是作為一個獨立的注意力層被應用，而是更多地作為一種「高性能組件」被嵌入到混合架構中，給其他更高效的注意力新方法做精度保底。2025年的另一個變化是線性注意力的複歸。長期以來，線性注意力被視為全注意力的一種「有損壓縮」妥協方案，它用精確度的下降換取推理速度。但在2025年，隨著Kimi Linear的發布，這種刻板印象被徹底打破。Kimi Linear採用3:1混合架構（3層線性穿插1層MLA），利用線性注意力層承擔主要的計算負載（節省75% KV緩存），再利用MLA兜底全局信息，實現了在1M超長上下文任務（RULER測試）中達到94.8的高分，性能上首次全面超越全注意力。這標誌著線性注意力現在又了從備胎轉為主力的實力。除此之外，Kimi還證明了線性注意力可以內在地學習各個token的位置信息，從而不再需要傳統的RoPE（旋轉位置編碼），在1M上下文解碼時，少了ROPE和N方的計算量，它的吞吐量可以達到全注意力的6.3倍。除了在傳統的Token層面優化注意力，2025年的另一個重要趨勢是打破離散Token的限制，朝向連續空間（Continuous Space）演進。這以「大型概念模型」（Large Concept Models, LCM）和騰訊的CALM（Continuous Autoregressive Language Models）為代表。傳統的LLM只預測下一個token，因此非常慢，且對於長文本概念的關聯性理解也不行。 Meta的Large Comcept Moedel 則試圖將多個Token壓縮為連續向量，從「預測下一個字」轉變為「預測下一個概念向量」。這增加了每個生成步驟的“語義頻寬”，在一次推理步驟中產生相當於原來4倍的信息量，理論上能讓模型訓練和推理的更快。這個邏輯很好，但在LCM提出時，因為壓縮token向量的工程化問題，其訓練效率並沒有比傳統方法提升太多。但今年10月，騰訊的CALM才第一次在工程上找到了平衡點，用更極簡的方式證明了這條路徑的工業可行性。062026，模型研究可能往那裡走？在了解完2025年模型的進步路徑後，我們可以暢想明年可能出現的一些研究方向。首先，我們上面提及的這些方向，毫無疑問會朝著更精細化和工程化的方向演進，進而為我們帶來模型體驗上的持續提升。從2025年的技術總結中，我們已經可以看到，幾乎所有重要的Scaling Law繼續發威的絆腳石都被搬的七七八八了。也正是因此，我們才在年末迎來了Gemini 3和GPT 5兩個確實提昇明顯的新模型。雖然像Test Time Compute這類範式革新性的創新是難以預測的，但有些已有苗頭的新方向很可能會在2026年結果，產生很重要的落地應用。我下面會羅列一些我認為可能會發生的技術推進方向。記憶的工程化實踐2026年，一定是記憶大年。因為記憶關切持續學習，事關Agent落地（個人化和新技能學習），如果理論上的方向已經明確，那除了工程上的難題外，基本上沒有什麼可以阻止它落地。在AI領域，我們以TTC革命為例子，可以看到一個複雜的系統性新想法從產生、實驗、工程落地，大概需要的時間是2年左右。 2024年末的GPT o1，實際上在22年左右，已經在Illya腦海中逐步成型，到方法確定和工程優化，大概用了整整兩年。在2025年，我們看到了從RAG、微調到架構上三種路徑上的思考都逐步邁向成熟，並且已經進行了小規模的實驗。這說明很可能再有一年時間，這些研究成果就可能在工程上成熟，被採用。在一個成功架構（例如像DeepSeek R1）的推動下，成為標配，完成範式轉換。即使做不到架構層的變化，RAG層的精修和SFT技術的最佳化，也可以讓之前那些實驗性的記憶系統，例如Mem0、Second Me有了更好的落地體驗。在2025年中，基本上主流模型都已經配置了基於情境的記憶系統。但在2026年，更細節，更具學習性的記憶將會逐步被產品化。標準架構的變革不論是Nested Learning、還是元學習，以及Universe of Thought，似乎都在證明著，我們當下的語言模型架構必須進行一些升級，才可能補全其缺失的能力。這種升級的趨勢主要以分區、分層、增加更多功能層為特質。不管是直接在層級間加入Titans 的記憶層，還是像Herachical Reasoning 那樣，把模型分成不同的分區，都可能更符合人腦運作的模式。在2026年，這種潛在的混合架構，可能會隨著神經學和符號主義的回潮，變得有更多更豐富的嘗試。進化的螺旋開啟2025年除了推理這個字之外，最熱門的應該就是自進化了。這是機器學習的聖杯。一個可以無限自我對弈、自我演化的通用型AI，基本上等於是AGI、ASI。不過在2025年，探索才剛起步。在這一年裡，有借鑒了生成式對抗網絡，讓模型能夠在無數據的情況下，自問自答進行強化學習的。這條路確實走的通，也確實是自進化，但它的上限依然受制於模型本身的預訓練能力，暫時沒有呈現出超過人工設計的後訓練的水平。自進化AI的另一個驗證方法是是否能發明出讓自己進化的演算法。這就是Alpha Evolve努力的一個方向。它是由系統使用Gemini Flash（追求速度）和Gemini Pro（追求深度）組成的模型集成，形成一個獨立的探索Agent。系統將目前表現最好的演算法程式碼作為上下文輸入LLM，並告訴這些Agent，去優化這段程式碼的某些具體方向。 LLM由此產生多個變異版本的程式碼。在Agent規則的限制下，這些變異一般是邏輯層面的重構，例如改變循環結構、引入新的數學技巧或調整資料結構。產生的程式碼會被放入沙箱環境中執行。系統透過預先定義的測試案例驗證其正確性（Provable Correctness），並透過效能分析器測量其效率（如延遲、吞吐量或指令數）。那些既正確又更有效率的演算法將被保留，成為下一代的父本。由此，持續的多次最佳化，最終帶來演算法的最優最佳化。在實踐上，Alpha Evolve確實找到了優於人類答案的最佳化演算法。不過，我們其實可以把Alpha Evolve看成Deep research的變體版本，只是把搜尋部分換成優化而已。在缺乏反思和內化，只是作為流程Agent存在的大模型，雖然確實可以找到演化演算法，但很難稱之為自進化。以上兩種比較有代表性的嘗試，其實都屬於自進化早期的嘗試。在記憶、合成資料、後設學習的模式完善之後，自進化的AI在2026年必然會產生更多的可能性。(騰訊科技)
